미래가 고정된 길이 아니라 빛나는 가능성의 네트워크인 세상을 상상해 보세요. 무작위성의 역학을 이해하는 것 시스템이 상태를 이동하는 확률적 진화와 그 전이 과정에 내재된 '새로움' 또는 놀라움을 측정하는 사이의 간극을 메우는 것입니다.
1. 상태 전이의 구조
기상 현상을 생각해보세요. 오늘 비가 오는 것이 내일의 기상에 영향을 주는 유일한 요인이라 가정하면, 마르코프 동역학의 영역에 들어갑니다. 이는 다음과 같이 우아하게 표현됩니다: 예제 2a다음과 같습니다:
내일 비가 올지 여부는 오늘의 날씨 조건에만 의존하며, 오늘 비가 오면 내일 비가 올 확률은 $\alpha$, 오늘 비가 안 오면 내일 비가 올 확률은 $\beta$입니다.
이러한 조건은 전이 행렬 $P$를 생성하며, 다음의 Chapman-Kolmogorov 정리다음과 같습니다:
$$P_{ij}^{(2)} = \sum_{k=0}^{M} P_{kj}P_{ik}$$
2. 도착의 리듬
무작위성은 단지 어디로 가는 방향에만 국한되지 않고, 언제 사건이 발생하는 시점에 더 깊이 관여합니다. 포아송 과정에서는 지진이나 방사능 붕괴와 같은 이산적인 도착 사건들을 시간에 따라 추적합니다.
- 도착 간격: 포아송 과정에서 $T_1$은 첫 번째 사건이 발생하는 시간을 의미합니다. $n > 1$인 경우 $T_n$은 $(n-1)$번째 사건과 $n$번째 사건 사이의 경과 시간을 나타냅니다.
- 정상성: 수열 $\{T_n, n=1, 2, \ldots\}$는 속도 $\lambda$에 의해 결정되는 독립적인 지수 분포 변수들로 구성되어 있습니다.
3. 정보는 놀라움의 감소이다
정보 이론은 클로드 샤논이 개척했으며, 불확실성을 정량화합니다. 이는 아름다운 대수적 기반 위에 세워져 있으며, 특히 공리 4다음과 같습니다:
공리 4: $0 < p \le 1, 0 < q \le 1$인 경우 $S(pq) = S(p) + S(q)$
이 공리는 두 독립적인 사건의 놀라움은 각각의 놀라움의 합과 같다는 것을 의미하며, 바로 샤논 엔트로피다음과 같습니다:
$$H(X) = -\sum_{i=1}^n p_i \log_2(p_i)$$
🎯 핵심 통찰
역학은 게임의 규칙(전이 확률)을 정의하고, 엔트로피는 실제로 게임을 플레이할 때 얼마나 많은 정보를 얻는지를 측정합니다. 만약 우리의 기상 모델에서 $\alpha=1$이고 $\beta=1$이라면 시스템은 결정론적이며, 엔트로피는 0입니다. 왜냐하면 '뉴스'가 새로운 정보를 제공하지 않기 때문입니다.